机器学习中的半监管可用于搜索信号加背景区域未标记的新物理学。这强烈降低了搜索标准模型的信号的模型依赖性。这种方法显示了过度拟合可以产生假信号的缺点。折腾玩具蒙特卡罗(MC)事件可用于通过频繁推断估计相应的试验因子。但是,基于完全检测器模拟的MC事件是资源密集型的。生成的对抗网络(GANS)可用于模拟MC发生器。 GANS是强大的生成模型,但经常遭受培训不稳定。今后我们展示了对GAN的审查。我们倡导使用Wassersein Gan(Wan)的重量剪裁和渐变刑罚(Wan-GP),批评评论者的渐变率是对其投入的惩罚。在多Lepton异常的出现之后,我们在LHC的$ B $ -Quark结合时使用GANS为Di-Leptons最终状态。找到MC和Wgan-GP生成的事件之间的良好一致性,用于研究中选择的可观察结果。
translated by 谷歌翻译
We study representation learning for efficient imitation learning over linear systems. In particular, we consider a setting where learning is split into two phases: (a) a pre-training step where a shared $k$-dimensional representation is learned from $H$ source policies, and (b) a target policy fine-tuning step where the learned representation is used to parameterize the policy class. We find that the imitation gap over trajectories generated by the learned target policy is bounded by $\tilde{O}\left( \frac{k n_x}{HN_{\mathrm{shared}}} + \frac{k n_u}{N_{\mathrm{target}}}\right)$, where $n_x > k$ is the state dimension, $n_u$ is the input dimension, $N_{\mathrm{shared}}$ denotes the total amount of data collected for each policy during representation learning, and $N_{\mathrm{target}}$ is the amount of target task data. This result formalizes the intuition that aggregating data across related tasks to learn a representation can significantly improve the sample efficiency of learning a target task. The trends suggested by this bound are corroborated in simulation.
translated by 谷歌翻译
Our education system comprises a series of curricula. For example, when we learn mathematics at school, we learn in order from addition, to multiplication, and later to integration. Delineating a curriculum for teaching either a human or a machine shares the underlying goal of maximizing the positive knowledge transfer from early to later tasks and minimizing forgetting of the early tasks. Here, we exhaustively surveyed the effect of curricula on existing continual learning algorithms in the class-incremental setting, where algorithms must learn classes one at a time from a continuous stream of data. We observed that across a breadth of possible class orders (curricula), curricula influence the retention of information and that this effect is not just a product of stochasticity. Further, as a primary effort toward automated curriculum design, we proposed a method capable of designing and ranking effective curricula based on inter-class feature similarities. We compared the predicted curricula against empirically determined effectual curricula and observed significant overlaps between the two. To support the study of a curriculum designer, we conducted a series of human psychophysics experiments and contributed a new Continual Learning benchmark in object recognition. We assessed the degree of agreement in effective curricula between humans and machines. Surprisingly, our curriculum designer successfully predicts an optimal set of curricula that is effective for human learning. There are many considerations in curriculum design, such as timely student feedback and learning with multiple modalities. Our study is the first attempt to set a standard framework for the community to tackle the problem of teaching humans and machines to learn to learn continuously.
translated by 谷歌翻译
我们介绍了新的新闻文章集合,该文章源自伪造和真实的新闻媒体来源,以分析和预测新闻病毒性。与现有的伪造新闻数据集不同,该数据集包含索赔或新闻文章的标题和正文,在此集合中,每篇文章都得到了Facebook参与数的支持,我们认为这是文章病毒性的指标。此外,我们还提供了文章说明和缩略图图像,与该文章在Facebook上共享。这些图像是用对象标签和颜色属性自动注释的。使用基于云的视觉分析工具,还分析了面部的缩略图图像,并用面部属性注释了检测到的面部。我们从经验上研究了该集合对文章病毒性预测的示例任务的使用。
translated by 谷歌翻译
这项工作的目的是探索如何有效有效地将预训练的基础模型适应图像语义分割的各种下游任务。常规方法通常为每个特定数据集微调整个网络,并且存储这些网络的大量参数是繁重的。最近的一些作品试图将一些可训练的参数插入冷冻网络中,以学习有效调整的视觉提示。但是,这些作品显着修改了标准模块的原始结构,使其在许多现有的高速推理设备上无法使用,其中标准模块及其参数已嵌入。为了促进基于及时的语义细分,我们提出了一个新颖的阶段间及时匹配的框架,该框架保持基础模型的原始结构,同时自适应地生成视觉提示,以适应以任务为导向的调整。具体而言,首先将预训练的模型分为多个阶段,其参数被冷冻并共享所有语义分割任务。然后将称为语义意识的提示匹配器的轻巧模块在两个阶段之间介绍给层次上的插值,以在临时语义图的指导下学习每个特定任务的合理提示。这样,我们可以更好地刺激对冷冻模型的预训练的知识,以有效地学习下游数据集的语义概念。在五个基准上进行的广泛实验表明,所提出的方法可以实现参数效率和性能效率之间的有希望的权衡。
translated by 谷歌翻译
早期对卵巢癌的准确检测对于确保对患者的适当治疗至关重要。在早期诊断研究中研究的一线方式中,有从蛋白质质谱中提取的特征。但是,该方法仅考虑光谱响应的特定子集,而忽略了蛋白质表达水平之间的相互作用,这也可以包含诊断信息。我们提出了一种新的模式,该模式通过考虑光谱的自相似性,自动搜索蛋白质质谱以获取歧视性特征。通过对蛋白质质谱的小波分解并估计所得小波系数的能量中的水平衰减速率来评估自相似性。使用距离方差以稳健的方式估算水平的能量,并通过滚动窗口方法在本地估算速率。这导致了一系列速率,可用于表征蛋白质之间的相互作用,这可以表明存在癌症。然后从这些进化速率中选择歧视性描述符,并用作分类特征。拟议的基于小波的特征与现有文献中提出的特征一起使用,用于使用美国国家癌症研究所(American National Cancer Institute)出版的两个数据集,用于卵巢癌的早期诊断。包括新模式的基于小波的特征可改善早期卵巢癌检测的诊断性能。这证明了提出的方式表征新的卵巢癌诊断信息的能力。
translated by 谷歌翻译
全身动态PET中的受试者运动引入了框架间的不匹配,并严重影响参数成像。传统的非刚性注册方法通常在计算上是强度且耗时的。深度学习方法在快速速度方面实现高精度方面是有希望的,但尚未考虑示踪剂分布变化或整体范围。在这项工作中,我们开发了一个无监督的自动深度学习框架,以纠正框架间的身体运动。运动估计网络是一个卷积神经网络,具有联合卷积长的短期记忆层,充分利用动态的时间特征和空间信息。我们的数据集在90分钟的FDG全身动态PET扫描中包含27个受试者。与传统和深度学习基线相比,具有9倍的交叉验证,我们证明了拟议的网络在增强的定性和定量空间对齐方面获得了卓越的性能在显着降低参数拟合误差中。我们还展示了拟议的运动校正方法的潜力来影响对估计参数图像的下游分析,从而提高了将恶性与良性多代谢区域区分开的能力。一旦受过培训,我们提出的网络的运动估计推理时间比常规注册基线快460倍,表明其潜力很容易应用于临床环境中。
translated by 谷歌翻译
我们提供了一个新的Twitter数据语料库,该数据注释了西班牙语和英语之间的代码开关和借用。该语料库包含带有代码开关,借款和命名实体的令牌级别注释的9,500条推文。该语料库与先前的代码开关情况有所不同,因为我们试图清楚地定义和注释codeswitching and Loarding和借贷之间的边界,并且在其他单语上下文中使用时,请不要将常见的“互联网说话”('lol'等)视为代码开关。结果是一个语料库,可以在一个数据集中的Twitter上进行西班牙语 - 英语借款和代码开关的研究和建模。我们提出了使用基于变压器的语言模型对该语料库的标签进行建模的基线得分。注释本身由CC by 4.0许可发布,而其适用的文本则根据Twitter服务条款分发。
translated by 谷歌翻译
Inspired by progress in large-scale language modeling, we apply a similar approach towards building a single generalist agent beyond the realm of text outputs. The agent, which we refer to as Gato, works as a multi-modal, multi-task, multi-embodiment generalist policy. The same network with the same weights can play Atari, caption images, chat, stack blocks with a real robot arm and much more, deciding based on its context whether to output text, joint torques, button presses, or other tokens. In this report we describe the model and the data, and document the current capabilities of Gato.
translated by 谷歌翻译
从磁共振成像(MRI)数据(称为颅骨条状)中去除非脑信号是许多神经图像分析流的组成部分。尽管它们很丰富,但通常是针对具有特定采集特性的图像量身定制的,即近乎各向异性的分辨率和T1加权(T1W)MRI对比度,这些分辨率在研究环境中很普遍。结果,现有的工具倾向于适应其他图像类型,例如在诊所常见的快速旋转回声(FSE)MRI中获得的厚切片。尽管近年来基于学习的大脑提取方法已获得吸引力,但这些方法面临着类似的负担,因为它们仅对训练过程中看到的图像类型有效。为了在成像协议的景观中实现强大的颅骨缠身,我们引入了Synthstrip,这是一种快速,基于学习的脑萃取工具。通过利用解剖学分割来生成具有解剖学,强度分布和远远超过现实医学图像范围的完全合成训练数据集,Synthstrip学会了成功推广到各种真实获得的大脑图像,从而消除了使用训练数据的需求目标对比。我们证明了合成条的功效对受试者人群的各种图像采集和决议的功效,从新生儿到成人。我们显示出与流行的颅骨基线的准确性的实质性提高 - 所有这些基线都采用单个训练有素的模型。我们的方法和标记的评估数据可在https://w3id.org/synthstrip上获得。
translated by 谷歌翻译